高性能C++ SwiGLU内核函数实战 · 课程目录

01

激活函数原理 · 与ReLU/GELU对比 · Transformer应用

02

C++ 基础回顾

指针与引用 · new/delete · vector vs array 性能

03

SIMD 指令集入门

SSE/AVX基础 · __m128/__m256 · 算术操作

04

SwiGLU 标量实现

朴素C++ · 性能基准 · 编译器优化 -O2/-O3

05

SwiGLU 向量化实现

AVX2实现 · 数据对齐 · 循环展开

06

内存访问模式

连续 vs 随机 · Cache Line · _mm_prefetch

07

多线程并行

std::thread · OpenMP · 线程安全

08

Intel TBB · parallel_for · 任务调度

09

NUMA 感知优化

NUMA架构 · mbind · 线程亲和性

10

编译器内建函数

__builtin_expect · __restrict · likely/unlikely

11

汇编级优化

内联汇编 · -S选项 · 手动调优

12

性能剖析工具

perf · 火焰图 · 热点定位

13

Google Benchmark

安装使用 · 微基准 · 统计分析

14

Intel VTune · 热点 · 内存访问

15

tanh / sigmoid · 参数化SwiGLU

16

INT8量化 · 量化感知训练 · C++推理

17

混合精度 SwiGLU

FP16/BF16 · half类型 · 精度权衡

18

稀疏激活 · CSR/CSC · 稀疏内核

19

CUDA实现 · CPU vs GPU · PCIe开销

20

内存池优化

自定义分配器 · 对象池 · 减少malloc

21

编译时优化

constexpr · 模板元编程 · 编译期计算

22

SIMD 高级技巧

掩码(AVX-512) · gather/scatter · 归约

23

缓存阻塞技术

循环分块 · 分块大小 · L1/L2/L3适配

24

预取距离 · 指令选择 · 避免污染

25

分支预测优化

消除分支 · 查表法 · CMOV指令

26

内联与函数调用

inline · 调用开销 · LTO

27

向量化报告

-Rpass · 手动验证 · 回退策略

28

跨平台移植

ARM NEON · Apple Silicon · 可移植代码

29

生产环境部署

动态库(.so/.dll) · 版本管理 · ABI

30

从零构建SwiGLU库 · 单元测试 · 性能回归